INTRODUCCIÓN
El artículo 13 de la Norma para el Aseguramiento de la Calidad de la Información Estadística y Geográfica del Instituto Nacional de Estadística y Geografía (Norma) estipula que, para evaluar la calidad de la Información Estadística y Geográfica, las Unidades Administrativas, como mínimo, deberán calcular los indicadores de calidad y aplicar las metodologías de evaluación en los términos y periodicidad aprobados por el Comité. De acuerdo con el artículo 18 de la citada Norma, las Unidades Administrativas informarán al Comité los resultados de los indicadores y evaluaciones aplicados a los Procesos de Producción a su cargo, los cuales serán integrados en el Informe Anual de Resultados del Comité.
Considerando lo anterior y, para efectos de las atribuciones del Comité conforme al artículo 26 fracción IV de la Norma, se presenta la información del siguiente indicador de calidad.
1. MARCO DE REFERENCIA DEL INDICADOR
1.1 Nombre del indicador
Tasa de no respuesta después de imputación a nivel unidad de observación.
1.2 Acuerdos del CoAC mediante los cuales fue aprobado el indicador:
Acuerdo CAC- 006/02/2018 en la segunda sesión del 2018 del Comité de Aseguramiento de la Calidad.
1.3 Fecha de inicio para reportar el indicador:
Para el caso de procesos de producción con muestreo probabilístico o no probabilístico el cálculo y publicación del indicador será a partir del tercer trimestre de 2018.
1.4 Principio de la Política de Calidad Institucional que mide el indicador:
Veracidad (precisión y confiabilidad)
1.5 Uso previsto del indicador:
El uso del indicador es combinado. De uso interno puede servir para la planeación de tareas operativas que permitan la reducción de la no respuesta y para conocimiento de la tasa de no respuesta de la información generada una vez que se ha realizado el proceso de imputación.
De uso externo para tomar las precauciones necesarias al usar la información en caso de la presencia de patrones que pudieran indicar la existencia de un sesgo a causa de la no respuesta. La tasa de no respuesta se debe reportar a diferentes niveles de desagregación para que los usuarios de la información puedan estudiar la existencia del posible sesgo y, en caso de existir, tomar las precauciones necesarias al usar la información o bien usar metodologías que permitan mitigar el impacto. Según el tipo de proceso de producción y unidad administrativa, se determinará su uso externo o interno para ciertos niveles de desagregación.
De uso externo para tomar las precauciones necesarias al usar la información en caso de la presencia de patrones que pudieran indicar la existencia de un sesgo a causa de la no respuesta. La tasa de no respuesta se debe reportar a diferentes niveles de desagregación para que los usuarios de la información puedan estudiar la existencia del posible sesgo y, en caso de existir, tomar las precauciones necesarias al usar la información o bien usar metodologías que permitan mitigar el impacto. Según el tipo de proceso de producción y unidad administrativa, se determinará su uso externo o interno para ciertos niveles de desagregación.
1.6 Fuentes de la metodología y/o estándares utilizados en el cálculo del indicador:
• Eurostat. ESS handbook for quality reports. 2014.
• Office for National Statistics, UK. Guidelines for Measuring Statistical Output Quality. 2013.
• United Nations Economic Commission for Europe (UNECE). Quality Indicators for the Generic Statistical Business Process Model (GSBPM) ‐ For Statistics derived from Surveys. 2017.
• Carl‐Erik Särndal et al. Model Assisted Survey Sampling, 2003. Capítulo 15.
• Carl‐Erik Särndal y Sixten Lundström. Estimation in surveys with nonresponse, 2005. En particular capítulos 5 y 9. .
• Office for National Statistics, UK. Guidelines for Measuring Statistical Output Quality. 2013.
• United Nations Economic Commission for Europe (UNECE). Quality Indicators for the Generic Statistical Business Process Model (GSBPM) ‐ For Statistics derived from Surveys. 2017.
• Carl‐Erik Särndal et al. Model Assisted Survey Sampling, 2003. Capítulo 15.
• Carl‐Erik Särndal y Sixten Lundström. Estimation in surveys with nonresponse, 2005. En particular capítulos 5 y 9. .
1.7 Persona(s) participante(s) en la integración de la ficha del indicador:
Unidad Administrativa o Grupo de trabajo.- Grupo de trabajo para la definición de indicadores de precisión para encuestas.
Araceli Martínez Gama, directora de Marcos y Muestreo, Dirección General de Estadísticas Económicas.
Araceli Martínez Gama, directora de Marcos y Muestreo, Dirección General de Estadísticas Económicas.
1.8 Medios de difusión:
Difusión externa: Página Web del INEGI, según proceso y apartado de evaluación estadística de la calidad de los datos en la Red Nacional de Metadatos para cada proceso de producción.
1.9 Fecha de integración de la ficha:
04/05/2018. (Con base a la entrada en vigor de la NTPPIEG, se ajustaron algunos conceptos dentro de la ficha del indicador, los cuales no alteran en ningún sentido los aspectos técnicos del mismo; Dichos ajustes se aplicaron con fecha del 17/11/2021).
2. ESPECIFICACIONES TÉCNICAS DEL INDICADOR
2.1 Ámbito de aplicación:
Encuesta por muestreo mixto, encuesta probabilística y encuesta determinística (no probabilística).
2.2 Objetivo del indicador:
La no respuesta o existencia de valores perdidos está presente en todo proceso de producción y puede inducir un sesgo en las estimaciones o estadísticas que se generen a partir de la información. El objetivo principal de la tasa de no respuesta después de imputación a nivel unidad de observación es identificar la existencia de patrones en la no respuesta que pudieran inducir ese sesgo, por lo tanto, la tasa de no respuesta se obtiene una vez que se ha realizado el proceso de imputación y se debe calcular y comparar sobre los diferentes dominios de estudio, variables más importantes usadas para la estratificación o sobre agrupaciones que pudieran estar relacionadas con las variables principales de los diferentes procesos de producción.
2.3 Periodicidad:
Se calculará según la frecuencia de levantamiento de información de cada proceso de producción.
2.4 Tiempo límite para el reporte del indicador:
La tasa de no respuesta después de imputación se reportará al mismo tiempo que la publicación de la información de los procesos de producción.
2.5 Periodo de referencia o ámbito de aplicación:
El periodo de referencia es el periodo de levantamiento de la información.
2.6 Definiciones o conceptos relevantes:
Se deberán especificar los aspectos siguientes para cada proceso de producción:
i) La unidad de observación sobre la cual se realizará el cálculo de la tasa de no respuesta después de imputación.
ii) Las agrupaciones sobre las cuales se calculará el indicador (principales dominios de estudio, variables de estratificación o agrupaciones relacionadas con las variables principales del proceso de producción).
El total de las unidades de observación cambia dependiendo del tipo de proceso de producción, por ejemplo, para procesos de producción con muestreo probabilístico son las unidades contenidas en la muestra seleccionada, mientras que para un muestreo no probabilístico puede ser el conjunto de unidades en donde se intentó recabar la información a partir de algún esquema no probabilístico.
i) La unidad de observación sobre la cual se realizará el cálculo de la tasa de no respuesta después de imputación.
ii) Las agrupaciones sobre las cuales se calculará el indicador (principales dominios de estudio, variables de estratificación o agrupaciones relacionadas con las variables principales del proceso de producción).
El total de las unidades de observación cambia dependiendo del tipo de proceso de producción, por ejemplo, para procesos de producción con muestreo probabilístico son las unidades contenidas en la muestra seleccionada, mientras que para un muestreo no probabilístico puede ser el conjunto de unidades en donde se intentó recabar la información a partir de algún esquema no probabilístico.
2.7 Fórmula de cálculo:
Consideremos sólo el conjunto de todas las unidades de observación en donde se intentó recabar la información y que no están fuera de la población objetivo definida para el proceso de producción (definida a nivel de la unidad de observación).
Se define como información admisible a aquella información que pasa los criterios de validación, incluyendo los casos en donde desde la fase de diseño se definen como admisibles códigos de no respuesta para alguna variable en particular.
Ng: Todas las unidades de observación en donde se intentó recabar la información.
Ng=Ng1 + Ng2' + Ng2'' + Ng3' + Ng3''.
La tasa de no respuesta después del proceso de imputación para el nivel de agregación g se define como:
En el caso de muestreo probabilístico o de un muestreo no probabilístico basado en el tamaño de alguna variable de diseño, también se deberá calcular la versión ponderada de este indicador.
Se define como información admisible a aquella información que pasa los criterios de validación, incluyendo los casos en donde desde la fase de diseño se definen como admisibles códigos de no respuesta para alguna variable en particular.
Para cada nivel de agregación g, g = 1,…,G, sea Ng el número de unidades de observación en donde se intentó levantar la información y están en la población objetivo.
Sean:
Ng1: Total de unidades de observación en donde toda la información es admisible.
Ng2: Total de unidades de observación en donde no se obtuvo información alguna.
Donde:
Ng2': Total de unidades donde no se obtuvo información alguna y fue imputada.
Ng2'': Total de unidades donde no se obtuvo información alguna y no fue imputada.
Ng2 = Ng2' + Ng2''.
Ng3: Total unidades de observación en donde se obtuvo información parcialmente, es decir, se obtuvo información, pero en al menos una variable objeto del proceso de producción no se tiene información admisible.
Ng2': Total de unidades donde no se obtuvo información alguna y fue imputada.
Ng2'': Total de unidades donde no se obtuvo información alguna y no fue imputada.
Ng2 = Ng2' + Ng2''.
Donde:
Ng3': Total de unidades donde se obtuvo información parcialmente y fue imputada.
Ng3'': Total de unidades donde se obtuvo información parcialmente y no fue imputada.
Ng3 = Ng3' + Ng3''.
Ng3': Total de unidades donde se obtuvo información parcialmente y fue imputada.
Ng3'': Total de unidades donde se obtuvo información parcialmente y no fue imputada.
Ng3 = Ng3' + Ng3''.
Ng: Todas las unidades de observación en donde se intentó recabar la información.
Ng=Ng1 + Ng2' + Ng2'' + Ng3' + Ng3''.
La tasa de no respuesta después del proceso de imputación para el nivel de agregación g se define como:
En el caso de muestreo probabilístico o de un muestreo no probabilístico basado en el tamaño de alguna variable de diseño, también se deberá calcular la versión ponderada de este indicador.
Donde:
i) wg corresponde al factor de expansión original para muestras probabilísticas o,
ii) en el caso de muestras no probabilísticas, wg = Xg, donde Xg es el valor de la variable de diseño X de la unidad g que se usó en el esquema no probabilístico para obtener la muestra.
i) wg corresponde al factor de expansión original para muestras probabilísticas o,
ii) en el caso de muestras no probabilísticas, wg = Xg, donde Xg es el valor de la variable de diseño X de la unidad g que se usó en el esquema no probabilístico para obtener la muestra.
2.8 Parámetro de interés
Porcentaje
2.9 Fuentes de información del indicador
El número total de unidades de observación para cada desagregación se puede obtener de un listado que se tenga previo al levantamiento de la información. El resto proviene de la información recabada en el proceso de producción.
Para el caso de muestreo no probabilístico la información para calcular la versión ponderada del indicador proviene del marco considerado como referencia.
Para el caso de muestreo no probabilístico la información para calcular la versión ponderada del indicador proviene del marco considerado como referencia.
2.10 Nivel de agregación
Las desagregaciones o agrupaciones sobre las cuales se calculará el indicador se definirán para cada proceso de producción en particular, pero al menos deben estar presentes los diferentes dominios de estudio de publicación y, en el caso de muestras, algunas variables usadas para el diseño muestral en la estratificación.
2.11 Observaciones y/o especificaciones técnicas
La tasa de no respuesta después de imputación a nivel de la unidad de observación es el cociente entre el total de unidades en donde después de aplicar métodos de imputación existe al menos información no admisible en una de las variables objeto de la encuesta entre el total de las unidades en donde se intentó recabar la información. El numerador también se puede describir como la suma del total de las unidades en donde no se pudo obtener información alguna y que no fue imputada y las unidades en donde se obtuvo información parcialmente y no admisible y que no fue imputada.
El indicador se deberá publicar junto con los siguientes aspectos:
i) La unidad de observación sobre la cual se realizó el cálculo de la tasa de no respuesta después de imputación.
ii) Las desagregaciones o agrupaciones sobre las cuales se calculó el indicador (principales dominios de estudio, variables de estratificación o agrupaciones relacionadas con las variables principales del proceso de producción).
iii) Una nota de contexto en donde se haga énfasis de que no se observa una diferencia entre las tasas de no respuesta o bien indicando en donde se observa una discrepancia. Por ejemplo, "Considerando las tasas de no respuesta a nivel entidad federativa se observa que éstas varían entre 5% y 20% y resaltan las entidades X y Y con las tasas más altas de 18% y 20%, respectivamente".
El indicador se deberá publicar junto con los siguientes aspectos:
i) La unidad de observación sobre la cual se realizó el cálculo de la tasa de no respuesta después de imputación.
ii) Las desagregaciones o agrupaciones sobre las cuales se calculó el indicador (principales dominios de estudio, variables de estratificación o agrupaciones relacionadas con las variables principales del proceso de producción).
iii) Una nota de contexto en donde se haga énfasis de que no se observa una diferencia entre las tasas de no respuesta o bien indicando en donde se observa una discrepancia. Por ejemplo, "Considerando las tasas de no respuesta a nivel entidad federativa se observa que éstas varían entre 5% y 20% y resaltan las entidades X y Y con las tasas más altas de 18% y 20%, respectivamente".
2.12 Valores de referencia o estándar de calidad utilizado
No se adopta un valor de referencia, sin embargo, es deseable que no se supere el 15% o el porcentaje que se utilizó en el cálculo de la muestra para procesos de producción probabilísticos. Lo más importante del cálculo de este indicador es informar al usuario sobre patrones observados al calcular el indicador en las agrupaciones definidas que pudieran sugerir la existencia de un sesgo por la no respuesta.